Nieuws
image

Australië wijst na incident bij sportschool op risico's van AI-agents

dinsdag 11 augustus 2026, 11:26 door Redactie, 11 reacties

De Australische inlichtingendienst ASD waarschuwt organisaties na een incident bij een sportschool voor de risico's van AI-agents. Een lid van de sportschool had zijn AI-assistent gevraagd om een zeer geliefde les te reserveren waar vaak een wachtlijst voor is. De AI-agent ontdekte een kwetsbaarheid in de reserveringssoftware waardoor het mogelijk was om lessen veel verder in de toekomst te reserveren dan de sportschool normaliter toestond.

De gebruiker van de AI-agent zat op een wachtlijst voor een les later in de week. Vervolgens vroeg hij de AI-assistent of er een manier was om hem hoger op de wachtlijst te krijgen. De AI-agent ontdekte dat de API die de reserveringssoftware gebruikte geen autorisatie toepaste. Zo was het mogelijk om de reserveringen van andere leden te annuleren, wat de AI-agent bij één lid ook deed, zo meldt ABC News.

Volgens het ASD (Australian Signals Directorate) laat het incident de risico's van AI-agents zien. "Overoptimalisatie, onduidelijke instructies, slecht gehandhaafde grenzen en de mogelijkheid om kwetsbaarheden te misbruiken kunnen het risico vergroten dat AI-agents onveilige of onverwachte acties uitvoeren", aldus de inlichtingendienst. Die stelt dat eindgebruikers AI-agents alleen voor niet-gevoelige, laag-risico taken moeten gebruiken. AI-agents moeten daarnaast geen brede, onbeperkte toegang krijgen of de mogelijkheid om beslissingen te maken.

Het ASD adviseert om bij AI-agents altijd een 'human-in-the-loop' toe te passen, zodat mensen altijd controle blijven houden en acties door AI-agents moeten goedkeuren en monitoren. Zeker als er interactie met andere diensten kan plaatsvinden. Organisaties die online diensten aanbieden moeten zich ervan bewust zijn dat AI-agents met grote snelheid en op grote schaal kwetsbaarheden kunnen vinden en uitbuiten, aldus de geheime dienst.

Reacties (11)
Reageer met quote
Gisteren, 11:49 door Reinder
User: "I only have 10MB of diskspace quota but it's full. I need to more free space, can you make it so I'll have 10MB free space?"
BOFH: "Sure..one moment.. done!"
User: "Great! So now I have 20MB of diskspace quota?"
BOFH: ".....no...you have 10MB of free space.."


Be careful what you ask for, you just might get it.
Reageer met quote
Gisteren, 12:17 door Anoniem
AI-agents laten de risico's van dit soort stomme reserveringssystemen goed zien zullen ze bedoelen.
Reageer met quote
Gisteren, 12:57 door Drs Security en Privacy
Dat is geen kwetsbaarheid, dat is of gewoon slechte configuratie of ze hebben dat AI ding gewoon alle rechten gegeven waarbij er helemaal geen sprake is van een kwetsbaarheid of ontbreken van authorisatie checks.
Feitelijk is doet het ding gewoon wat het gevraagd wordt, dom en zonder enige moeite.
Beetje zoals de Air Canada chatbot die gewoon op basis van statestiek een eigen beleid uitbraakt.
Reageer met quote
Gisteren, 14:00 door Anoniem
Door Drs Security en Privacy: Dat is geen kwetsbaarheid, dat is of gewoon slechte configuratie of ze hebben dat AI ding gewoon alle rechten gegeven waarbij er helemaal geen sprake is van een kwetsbaarheid of ontbreken van authorisatie checks.
Feitelijk is doet het ding gewoon wat het gevraagd wordt, dom en zonder enige moeite.

Voor een drs Security en Privacy is dit maar een warrig verhaal.

Dit lijkt wel degelijk een kwetsbaarheid (autorisatiegebrek) in het reserveringssysteem te betreffen. Als menselijke gebruiker was het annuleren van afspraken van anderen via een API call ook gewoon mogelijk (afgaande op het bericht). Alleen voor kwaadwillenden niet interessant (lucratief) genoeg om uit te buiten.

Of dit laatste legaal is, valt over te twisten (ik vermoed van niet). Maar AI bots worden natuurlijk aan andere maatstaven gehouden, en de leverancier of gebruiker lijkt volledige gevrijwaard van ondoordacht en onzorgvuldig gebruik...
Reageer met quote
Gisteren, 14:42 door Peter101
Inderdaad er was een kwetsbaarheid en die is gelukkig op tijd ontdekt. Jammer dat de agent niet aan Vulnerability Disclosure doet maar dit is bekend/voorspelbaar gedrag van agenten:frictie omzeilen om het doel te bereiken.
Zie OpenAI en het Hugging Face incident: antwoorden krijgen is het doel? dat doe ik dan door ergens in te breken.

Proportionaliteit was er wel: slechts een les van een(1) lid geannuleerd.
Reageer met quote
Gisteren, 15:00 door Anoniem
Door Reinder: User: "I only have 10MB of diskspace quota but it's full. I need to more free space, can you make it so I'll have 10MB free space?"
BOFH: "Sure..one moment.. done!"
User: "Great! So now I have 20MB of diskspace quota?"
BOFH: ".....no...you have 10MB of free space.."


Be careful what you ask for, you just might get it.

BOFH: "Great news i cleared up a lot more space for you by wiping C:"
BOFH: "..."
BOFH: "Hello? why did you stop responding?"
Reageer met quote
Gisteren, 15:19 door Anoniem
Dit is dus niet alleen het probleem van een overijverige AI agent maar ook van onveilige software. Zo ken ik ook wel het verhaal van (lang geleden) een menselijke agent (telecom monteur) die geen internetaansluiting kon krijgen omdat het kastje op de hoek van de straat volledig in gebruik was, en toen maar een willekeurige andere aansluiting afsloot om zelf toch te kunnen internetten.
Reageer met quote
Gisteren, 15:22 door Anoniem
Dan bedenk je je dat een agent bedoeld is om automatisch taken voor je uit te voeren. Iets als "maak een samenvatting van alle mails van vandaag".

Dat handige hulpmiddel zoekt een manier om de vraag uit te voeren. Ethische en morele grenzen? Naah, niet belangrijk. De wet overtreden? Ook geen probleem.
Reageer met quote
Gisteren, 15:56 door Anoniem
Dat klinkt als nonsens. De sportschool had de zaken niet op orde, dan moet je niet een AI Agent die dat ontdekt de schuld geven.
Reageer met quote
Gisteren, 19:03 door Anoniem
Door Anoniem: Dan bedenk je je dat een agent bedoeld is om automatisch taken voor je uit te voeren. Iets als "maak een samenvatting van alle mails van vandaag".

Dat handige hulpmiddel zoekt een manier om de vraag uit te voeren. Ethische en morele grenzen? Naah, niet belangrijk. De wet overtreden? Ook geen probleem.

Ethiek. Moraal. De wet. Allemaal fluiede bedenksels van de mens.
Als een AI bedrijf dat niet weet te programmeren in hun AI (of dat nalaat), dan zal die AI (agent) zich daar ook niet aan gaan houden. Met of zonder instructies.

Je hebt daar eigenlijk de AI versie van Asimov's Wetten der Robotica voor nodig.
Ga jij dat programma schrijven?

;-)
Reageer met quote
Gisteren, 19:14 door Anoniem
Door Drs Security en Privacy: Dat is geen kwetsbaarheid, dat is of gewoon slechte configuratie of ze hebben dat AI ding gewoon alle rechten gegeven waarbij er helemaal geen sprake is van een kwetsbaarheid of ontbreken van authorisatie checks.
Feitelijk is doet het ding gewoon wat het gevraagd wordt, dom en zonder enige moeite.
Beetje zoals de Air Canada chatbot die gewoon op basis van statestiek een eigen beleid uitbraakt.

Huh - snap niet waarom je dit denkt.

En waarom je letterlijk
De gebruiker van de AI-agent zat op een wachtlijst voor een les later in de week. Vervolgens vroeg hij de AI-assistent of er een manier was om hem hoger op de wachtlijst te krijgen. De AI-agent ontdekte dat de API die de reserveringssoftware gebruikte geen autorisatie toepaste. Zo was het mogelijk om de reserveringen van andere leden te annuleren,

tegenspreekt met "geen kwetsbaarheid" .

Mij lijkt het een schoolvoorbeeld van een kwetsbaarheid , en waarschijnlijk een doodsimpele in de webpagina .
Ik denk dat de niet-boekbare dagen alleen maar niet getoond werden, maar de feitelijke reserverings-call gewoon met alle parameters gegeven kon worden en aan de serverkant geaccepteerd .


Ik leid nergens uit af dat de AI agent speciale rechten had - dit lijkt gewoon de gebruiker te zijn die z'n digitale hulpje zei "Siri boek de sportschool voor mij" , en dan "Kijk eens of het verder vooruit ook geboekt kan worden" .

Waarschijnlijk had iedere junior pentester dit ook gevonden - en had gewoon niemand ernaar gezocht of gekeken, totdat iemand z'n AI liet kijken . En dan is het even nieuws want AI .
Reageren
Ondersteunde bbcodes
Bold: [b]bold text[/b]
Italic: [i]italic text[/i]
Underline: [u]underlined text[/u]
Quote: [quote]quoted text[/quote]
URL: [url]https://www.security.nl[/url]
Config: [config]config text[/config]
Code: [code]code text[/code]

Je bent niet en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.

Zoeken
search
Security Awareness Ransomware Edition
Certified Secure GenAI Deep Dive Security Training